#Long-Context Retrieval

3 篇

DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention

DAMI：双轴记忆初始化增强门控线性注意力长上下文检索

🧭 门控线性注意力 · 记忆初始化 ★ 深度解读

SpeedAI · Beihang University

联合配置头时间尺度与层输入敏感度，在不增加参数的情况下提升五种线性注意力架构的长上下文检索准确率

📌 工作参考价值（4 点）

用户长期行为序列建模：若用 Mamba/GDN/RWKV 等线性注意力处理用户长 session，可将多个 head 的衰减时间尺度几何分布（如 1~4096），让不同 head 分别捕捉近期点击与长期偏好；避免统一衰减导致远期信号被遗忘或近期噪声过拟合。
分层表征初始化先验：低-高-低输入敏感度可迁移到推荐/Ads 塔：浅层 embedding/low-level 层保持低敏感性求稳定，中间交叉层高敏感捕捉动态，深层汇总层再低敏感防止稀有关联消失；配合无梯度校准，只需少量业务激活即可完成初始化。
工程可插拔且零推理成本：DAMI 仅改变衰减侧初始化，不增加参数与推理开销；适合作为现有 SSM/线性注意力推荐模型的 baseline 增强，尤其当业务数据分布迁移或长上下文需求提升时，可低成本重校准。
长上下文检索能力：若模型需要从长会话/长文档中检索相关信息（例如客服历史、详情页关联），可参考 RULER 风格评估，并利用该初始化改善远距离依赖命中。

Training | 2026-10-29 | HF Daily | score 8/10

用多前缀嵌入改进长上下文检索

🧭 长上下文检索 · 多前缀嵌入

University of Waterloo · University of Queensland · University of Utah · Carnegie Mellon University

在单次因果前向传播中用EOS分块抽取前缀嵌入，实现细粒度检索且保留跨块上下文

📌 工作参考价值（4 点）

在电商搜索中，若使用基于因果语言模型的检索编码器（如 LLaMA），可采用 MPE 将商品长描述按 EOS 分块，一次编码得到多个前缀嵌入，通过 MaxSim 实现细粒度匹配，兼顾上下文感知，避免独立编码分块带来的信息割裂。
训练时仅需文档级相关性标注，无需分块级细标注，显著降低标注成本，适合电商快速迭代场景。
查询与文档匹配时可定位到具体分块的贡献分数，天然提供证据归因，可用于排序结果可解释性或辅助人工审核。
存储开销远低于 token 级多向量方法（如 ColBERT），同时保持较好的细粒度匹配能力，适合大规模商品库的近似检索。

RAG | 2026-06-22 | cs.IR | score 7/10

EvoEmbedding：可进化的表示模型，解决长上下文检索与Agent记忆动态匹配

🧭 可进化嵌入 · 长上下文检索与Agent记忆 ★ 深度解读

Nanjing University

通过FIFO潜在记忆队列实现可进化的上下文感知嵌入，在长上下文检索和Agent记忆任务上大幅超越静态大模型

📌 工作参考价值（4 点）

用户行为序列的动态嵌入：电商场景中，同一用户在不同时段对同一query的意图不同（如“耳机”先浏览后比价），EvoEmbedding的可进化表示可压缩历史上下文，使召回/排序阶段感知时序变化，避免检索过时信息。可直接用其FIFO潜在记忆队列增量更新用户状态，嵌入维度仅1024，开销低。
多LoRA解耦训练与无损切换：将记忆更新和表示生成拆分为两个LoRA适配器，基座LLM参数冻结，既避免了灾难性遗忘，又可在推理时按需激活。业务中可借鉴为同一个基座模型同时具备记忆压缩和检索嵌入能力，省去额外部署专用嵌入模型。
长度加权对比损失：对于电商长序列（如用户全生命周期行为），正负样本数量差异极大且长度悬殊。论文的log(N+1)自适应校准因子可稳定训练，避免模型偏向短序列，值得直接移植到用户长序列表示学习。
Segment-Batching加速技巧：将多个连续片段拼接后并行编码，训练提速3.8倍且性能小幅提升。在处理用户流水数据时，可按时间窗口并行化，平衡效率与效果。

RAG | 2026-06-18 | HF Daily | score 8/10